_See Readme for installation instructions_

Santé Publique France : rendre les données de santé publique plus accessibles

Contexte

Santé Publique France (SPF) souhaite mettre à disposition de ses agents des informations plus claires, lisibles et accessibles que les données brutes disponibles. Nous allons ici étudier les données Open Food Facts afin de les aider à mieux observer et comprendre quels sont les enjeux de santé publique liés aux produits alimentaires de la grande distribution.

L'objectif est donc ici de produire des analyses graphiques parlantes au plus grand nombre et pertinentes du point de vue des problématiques de santé publique.

Outils utilisés

Nous allons utiliser le langage Python, et présenter ici le code, les résultats et l'analyse sous forme de Notebook JupyterLab.

Nous allons aussi utiliser les bibliothèques usuelles d'exploration et analyse de données, afin d'améliorer la simplicité et la performance de notre code :

Chargement des données et premier aperçu

Les données mises à disposition sont issues de Open Food Facts et présentent les données sur les produits alimentaires.

Nous allons télécharger et extraire le fichier ZIP, puis effectuer une première passe afin de traiter les irrégularités du fichier, avant de charger les données et observer quelques valeurs.

Téléchargement et extraction des données

Gestion des irrégularités du fichier CSV téléchargé

Le fichier contenant les données est mal formé à plusieurs endroits : des sauts de ligne sont présents dans 23 lignes à la fin de la colonne first_packaging_code_geo. Ces irrégularités sont facilement repérables car ce sont les seules lignes qui ne commencent pas par le code de l'article (code), mais par un séparateur \t. Nous allons donc corriger ces irrégularités en supprimant les sauts de ligne superflus, puis écrire les données propres dans un nouveau fichier CSV.

Chargement des données

Nous allons charger les données en mémoire et convertir les valeurs dans le bon type, selon les spécifications fournies.

Le fichier de données fourni contient 162 variables pour 320749 individus.

Sélection des données pertinentes

Nous allons chercher à n'utiliser que les variables pertinentes pour SPF : celles pour lesquelles nous avons suffisament de valeurs non vides pour pouvoir faire une analyse statistique fiable, et qui peuvent avoir un réel sens du point de vue des problématiques de santé publique.

Nous voyons que un grand nombre de variables ont un taux de complétude très faible et ne seront donc pas utilisables. Nous allons donc restreindre notre analyse aux variables utilisées pour le calcul du Nutri Score, qui est un indicateur très parlant du point de vue de la santé.

Premier aperçu

Affichons quelques informations et les premières valeurs observées.

Première analyse statistique

Voyons quelle est la répartition des différentes variables.

Distribution des différentes valeurs

Voyons comment sont distribuées certaines variables.

Variable catégorique nominale : main_category

Voyons comment sont réparties les catégories de produits.

Nous voyons déjà qu'il y a une répartition très inégale des catégories de produits et qu'il faudrait certainement améliorer la catégorisation afin d'éviter d'avoir un très grand nombre de catégories à 1 seul élément.

Nous voyons que les 20 catégories les plus représentées représentent près de 50% de toutes les valeurs. De même, les 5 premières catégories représentent plus de 80% des 3543 valeurs possibles.

Variable catégorique ordinale : nutrition_grade_fr

Voyons comment sont réparties les notes de Nutri-Score.

Nous voyons que parmis les produits répertoriés, la répartition des produits par Nutri-Score est globalement comparable, avec une sur-représentation du label "D", et une légère sous-représentation du label "B". Nous voyons aussi de quels catégories de produits sont composés chaque scores. Par exemple, il y a beaucoup de conserves parmis les produits de score "A", et de chocolats parmis les produits de score "E".

De la même manière, nous voyons que la plupart des chocolats ont un score de "E" et la plupart des conserves ont un score de "A". Nous mesurerons précisément la corrélation entre les catégories de produits et les notes de Nutri-Score plus loin.

Variables numérique

Nous allons dans un premier temps nettoyer les données numérique, avant d'en étudier la répartition. Ceci permettra d'avoir des données plus fiables.

Nettoyage : suppression des données aberrantes

Parmis les données fournies, nous voyons des valeurs négatives pour des variables comme le nombre d'additifs, ou la quantité de sucre pour 100g de produit, ce qui est impossible. Nous allons aussi utiliser la méthode IQR (Inter Quartile Range) pour identifier les données aberrantes (outliers) et les supprimer.

Nous avons bien supprimé les valeurs négatives impossibles, mais nous voyons encore des valeurs maximum aberrantes (ex. : 550g d'acides gras saturés pour 100g de produit). Nous allons donc supprimer les valeurs aberrantes restantes grâce à la méthode IQR.

Nous avons maintenant des valeurs qui semblent correctes. Observons leur répartition avant de compléter les valeurs vides.

Nous voyons qu'il y a encore des données aberrantes, notamment en analysant les données selon la note de Nutri-Score. Nous allons donc à nouveau supprimer ces données aberrantes grâce à la fonction remove_outliers() définie.

Nous voyons maintenant que les données sont quasiment toutes contenues dans les "moustaches" des boxplots, autrement dit il n'y a presque plus de données aberrantes.

Nettoyage : suppression des doublons et lignes vides

Il est inutile de conserver des données en doublons, nous allons donc supprimer ces lignes. En l'occurrence, comme le code est unique à chaque produit, il ne peut pas y avoir de lignes en doublon.

Par la suite, toute notre analyse va se baser sur le paramètre nutrition_grade_fr. Nous allons supprimer les lignes où la valeur de cette variable est vide.

Nettoyage : remplacement des valeurs manquantes

Nous pouvons alors considérer les données restantes comme fiables, et nous allons nous baser sur ces valeurs pour extrapoler les valeurs manquantes dans notre jeu de données. Nous allons remplacer, pour chaque valeur numérique vide, la valeur moyenne des individus ayant la même note de Nutri-Score.

Nous voyons que nous n'avons plus de valeurs vides pour toutes les variables numériques sélectionnées.

Recherche et analyse des corrélations

Maintenant nos données nettoyées, nous allons l'exploiter afin d'observer et mesurer les tendances significatives au sein du jeu de données.

Corrélation entre catégories de produits et Nutri-Score

Nous allons ici analyser l'influence réciproque des deux variables catégoriques : top_category et nutrition_grade_fr.

Ce tableau nous indique les corrélations fortes entre les catégories de produits et le Nutri-Scores.

Nous voyons déjà que parmis les 20 types de produits les plus représentés, ceux ayant un meilleur Nutri-Score sont les produits en boîte, les produits à base de plantes et les pâtes. Les légumes frais sont le plus souvent de Nutri-Score A, tandis que les chocolats, bonbons, biscuits et en-cas sucrés ont le plus souvent un mauvais Nutri-Score.

Corrélation entre valeurs nutritives et note de Nutri-Score

Nous allons ici analyser l'influence réciproque des variables numériques prises en compte dans le calcul du Nutri-Score et la note de Nutri-Score.

Nous voyons que, suite à l'imputation des valeurs vides, les médianes et les quartiles se sont rapprochés de la moyenne, ce qui fait apparaitre de nouveaux outliners, que nous allons conserver.

Il faut noter le cas particulier de la variable fruits-vegetables-nuts_100g pour laquelle nous avons remplacé les 98,7% de valeurs vides par la moyenne des 1,3% de valeurs non vides. La variance est donc très faible pour cette variable et cette imputation pourrait entraîner des résultats biaisés par la suite.

Nous allons chercher à quantifier la corrélation entre chacune de ces valeurs nutritives et la note de Nutri-Score. Pour celà, nous allons effectuer une analyse de la variance (ANOVA) entre les variables numériques (valeurs nutritives) et les catégories (notes Nutri-Score).

Nous voyons ici qu'il y a une corrélation presque parfaite (η2=0.94) entre nutrition-score-fr_100g et nutrition_grade_fr : ceci est attendu, puisque la note de Nutri-Score est défini linéairement à partir du Nutri-Score. Le fait que la corrélation ne soit pas de 1 montre qu'il y a des erreurs ou exceptions qu'il faudrait corriger ou expliquer.

Nous observons une très forte corrélation (η2=0.88) entre fruits-vegetables-nuts_100g et nutrition_grade_fr : ceci s'explique principalemet par l'imputation faite par la moyenne sur la plupart des valeurs de cette variable. Ce résultat n'est donc pas fiable et ne permet pas de tirer de conclusion.

Nous voyons ensuite que les variables ayant la plus grande corrélation avec le Nutri-Score sont les valeurs nutritives influencant négativement le Nutri-Score : la densité d'énergie, les gresses saturées et les sucres.

Corrélation entre valeurs nutritives et catégories de produits

Nous allons ici analyser l'influence réciproque des variables numériques prises en compte dans le calcul du Nutri-Score et les trois catégories de produits les plus représentées.

Cette analyse nous permet de confirmer les corrélations observées précédemment : les chocolats ont généralement des valeurs élevées d'énergie, de gras et de sucre, et un Nutri-Score plus élevé que le reste des produits.

Corrélation entre les différentes valeurs nutritives

Nous allons ici analyser l'influence réciproque des variables numériques prises en compte dans le calcul du Nutri-Score. Nous allons observer séparément les variables qui doivent avoir une influence positive sur le Nutri-Score, puis les variables devant avoir une influence négative.

Nous voyons ici qu'il semble y avoir une corrélation positive entre les variables energy, sugars et fat. La corrélation positive entre le Nutri-Score et toutes les variables listées ici est aussi assez visible.

Il est ici assez difficile de distingueer une corrélation claire entre les différentes variables.

Noous allons devoir recourrir à une mesure mathématique des corrélations afin de les quantifier et les apprécier réellement.

Nous voyons nettement ici qu'il y a une forte corrélation positive entre les produits à forte densité énergétique et gras , ainsi qu'une forte corrélation négative entre les produits gras et à forte teneur en fruits, légules et noix.

Modélisation de l'influence des valeurs nutritives sur le Nutri-Score

Nous allons ici tenter de modéliser nos différents produits selont leurs valeurs nutritives, et comparer ce modèle aux notes de Nutri-Score, ainsi qu'aux catégories de produits afin d'essayer de généraliser des tendances observables.

Dans en premier temps, nous allons normaliser chacune des variables numériques afin de mieux pouvoir les comparer. Nous en profitons pour modéliser (via une régression linéaire) comment sont corrélées chacune des valeurs nutritives avec le Nutri-Score.

Nous voyons ici que la variable ayant la plus grande influence positive est le taux de graisses saturées (R²=0,54 , a=0,75). A contrario, le taux de fruits-legumes-noix a une très forte influence négative sur le Nutri-Score (R²=0,49 , a=−0,67). Les taux de protéines a en reanche très peu de corrélation avec le Nutri-Score ( R²<0.002 ).

Nous allons maintenant chercher à définir de nouvelles variables qui sont des composantes des variables existantes et qui permettent de résumer de manière optimisée les informations contenues dans les variables existantes. Cette méthode s'appelle l'Analyse en Composantes Principales.

Cette nouvelle projection nous permet de visualiser les produits en maximisant la variance dans chaque axe, ce qui permet de bien distinguer chaque individu. Nous observons notamment que selon l'axe "PC1", les produits de Nutri-Score "A" sont bien isolés du reste des points.

Voyons s'il est nécessaire d'ajouter de nouvelles composantes à notre analyse en mesurant la variance des composantes déjà sélectionnées.

Nous voyons que la troisième composante apporte relativement peu de nouvelle information par rapport aux deux premières. Il n'est donc pas nécessaire d'ajouter de nouvelles composantes à notre analyse.

Voyons maintenant comment se répartissent les notes de Nutri-Score , ainsi que les catégories de produits dans nos nouvelles composantes.

Cherchons maintenant à interpréter ces composantes principales en mesurant combien chaque variable initiale contribue à chaque nouvelle composate.

Nous voyons que la composante "PC1" correspond aux produits contenant beaucoup de fruits-legumes-noix et peu de sucres, energie, graisses, et ayant donc un Nutri-Score très faible. La seconde composante correspond aux produits à haute teneur en protéines et fibres, et faible en additifs et sucres. La dernière composante correspond aux produits contenant très peu de sel et plutôt sucrées.

Ces derniers graphiques nous confirment les observations précédentes et nous permettent de généraliser le sens de chaque composantes :